doc: Add repo docs

libostree: Check out directories depth-first in serial, switch to sync API

The way we recurse into subdirectories in parallel makes it far too
easy to hit up against the arbitrary Linux fd limit of 1024.

Since the fix here is about dropping parallelism, let's just go all
the way for now and make a plain old synchronous API =(

This does simplify both internal callers which wanted a sync API
anyways.

https://bugzilla.gnome.org/show_bug.cgi?id=706380

main: Add U-Boot bootlader backend support

This patch adds support to generate files that
can be used by Universal Bootloader (U-Boot).

U-Boot allows to modify boards default boot commands by
reading and executing a bootscript file or importing a
plain text file that contains environment variables that
could parameterize the boot command or a bootscript.

OSTree generates a uEnv.txt file that contains booting
information that is taken from Boot Loader Specification
snippets files as defined in the new OSTree deployment model:

https://wiki.gnome.org/OSTree/DeploymentModel2

On deploy or upgrade an uEnv.txt env var file is created
in the path /boot/loader.${bootversion}/uEnv.txt. Also, a
/boot/uEnv.txt symbolic link to loader/uEnv.txt is created
so U-Boot can always import the file from a fixed path.

Since U-Boot does not support a menu to list a set of
Operative Systems, the most recent bootloader configuration
from the list is used.

To boot an OSTree using the generated uEnv.txt file, a
board has to parameterize its default boot command using the
following variables defined by OSTree:

${kernel_image}:  path to the Linux kernel image
${ramdisk_image}: path to the initial ramdisk image
${bootargs}:      parameters passed to the kernel command line

Alternatively, for boards that don't support this scheme,
a bootscript that overrides the default boot command can be used.

An example of such a bootscript could be:

setenv scriptaddr 40008000
setenv kernel_addr 0x40007000
setenv ramdisk_addr 0x42000000
ext2load mmc 0:1 ${scriptaddr} uEnv.txt
env import -t ${scriptaddr} ${filesize}
ext2load mmc 0:1 ${kernel_addr} ${kernel_image}
ext2load mmc 0:1 ${ramdisk_addr} ${ramdisk_image}
bootm ${kernel_addr} ${ramdisk_addr}

Signed-off-by: Javier Martinez Canillas <javier.martinez@collabora.co.uk>
https://bugzilla.gnome.org/show_bug.cgi?id=706370

admin: Extract ot_admin_join_config_lines() helper function

ot-bootloader-syslinux.c has a join_lines() function that is rather
generic and can be used in other places. Let's add it as a helper
function.

Signed-off-by: Javier Martinez Canillas <javier.martinez@collabora.co.uk>
https://bugzilla.gnome.org/show_bug.cgi?id=706370

test: fix a trivial typo in libtests.sh

When running the test-admin-deploy-1.sh unit test,
cat shows the following error:

cat: boot/vmlinuz-3-6.0: No such file or directory

due a trivial typo in the kernel image file name.

Signed-off-by: Javier Martinez Canillas <javier.martinez@collabora.co.uk>
https://bugzilla.gnome.org/show_bug.cgi?id=706371

libostree: Extend gtk-doc coverage for refs and prune APIs

ostree.doap: Update description based on docs.

main: Use macro to reduce duplication among builtin prototypes

Just less code.

Revert "libotutil: Make use of GBytes in ot_variant_read()"

This reverts commit c77908bf514d61e75798932f61b5b414d9e36a3c; we can't
do this since g_variant_get_data_as_bytes() is a GLib 2.36 API.

libotutil: Drop accidental use of GLib 2.36 API

Sticking with 2.34 for a while longer.

Use { 0, } for structure initialization rather than memset()

It's cleaner, safer, and I had a totally wrong idea stuck in my head
about why memset() should be used.

https://bugzilla.gnome.org/show_bug.cgi?id=705968

Release 2013.5

build: Fix and prettify build option output

The documentation one was broken by the gtk-doc changes, and let's
align things.

ostree init: Fix mode list help string

It's archive-z2, not archive-z.

https://bugzilla.gnome.org/show_bug.cgi?id=705849

Fix make distcheck

make distcheck was unhappy for various reasons:
  * headers aren't data, so use _HEADERS otherwise compilation fails
  * Mark the gir & typelib data as cleanfiles so they aren't left around
    after make clean
  * Don't nuke the .la file. This breaks make uninstall, leave it up to
    distributions to not install .la files if they don't want them.

https://bugzilla.gnome.org/show_bug.cgi?id=705850

libostree: Delete some leftover remnant API for archive files

libostree: Increase gtk-doc coverage of ostree-repo.[ch]

libostree: Add gtk-doc section for ostree-repo.c

libostree: More gtk-doc updates for ostree-core

docs: Add an overview section, migrate some content from the wiki

libostree: Fix many gtk-doc warnings

core: Drop duplicated type declarations

3 fewer gtk-doc warnings, 99 still left on the wall...

libostree: Document more core macros

Fix use of uninitialized memory in ostree_builtin_checksum()

https://bugzilla.gnome.org/show_bug.cgi?id=705968

TODO: Tweak

build: Fix the build without documentation

Just key everything of gtk-doc.

core: Remove old "archive" mode

We'll always have "bare" mode for keeping files-as-hardlinks as root.
But "archive" was my second attempt at a format for non-root file
storage, used by the gnome-ostree buildsystem which runs as non-root.

It was really handy to have a "tar" like mode where I can create
tarballs as a user, that contain files owned by root for example.

The "archive" mode stored content files as two pieces in the
filesystem; ".file" contained metadata, and ".filecontent" was the
actual content, uncompressed.  The nice thing about this was that to
check out a tree as non-root, you could just hardlink into the repo.

However, archive was fairly bad for serving via HTTP; it required
*two* HTTP requests per content object, greatly magnifing the already
inefficient fetch process.  So "archive-z2" was introduced.

To allow gnome-ostree to still check out trees as a user, the
"uncompressed-object-cache" was introduced, and that's how things have
been working for a while.

So we should just be able to kill this code.  Specifically note just
how much better the stage_object() function became.

https://bugzilla.gnome.org/show_bug.cgi?id=706057

Add gtk-doc support

Yes, it's really me.  Colin Walters.  Writing documentation.  You
don't need to do a DNA test.

Add 'ostree reset' command to undo a bad commit

Accepts the following arguments: ref checksum

Checks that the checksum is a parent of the ref before rewriting
the ref.

https://bugzilla.gnome.org/show_bug.cgi?id=705979

configure: Use AS_IF() consistently

See https://bugzilla.gnome.org/show_bug.cgi?id=681413

Install systemd units in the right location

Debian uses /lib/systemd/system for system unit files, while i'm
putting ostree under the /usr prefix which means the hardcoded path
fails. Leave it to configure to work out the right location for systemd
units (method copied from pollkit).

Furthermore instead of installing the unit in local-fs.target.wants by
hand add a [Install] section so systemctl enable does the right thing

https://bugzilla.gnome.org/show_bug.cgi?id=705864

core: Use gs_stream_fstat()

Just a cleanup.

core: Add some more gtk-doc

core: Add some gtk-doc

Just documenting a few functions to get in the habit of things.

Add 'ostree log' command

Follows the parent of commits showing each in turn until it reaches
the top of the commit tree.

https://bugzilla.gnome.org/show_bug.cgi?id=705973

Add ostree_commit_get_parent() to get parent from variant

https://bugzilla.gnome.org/show_bug.cgi?id=705973

Intelligible display for 'ostree show'

Show something similar to git metadata display. Show raw variant
data when --raw is specified

https://bugzilla.gnome.org/show_bug.cgi?id=705973

repo: Add API to load any object as a stream

We have APIs to load metadata as variants, and files as parsed
content/info/xattrs, but for some cases such as static deltas, all we
want is to operate on all objects in their canonical representation.

https://bugzilla.gnome.org/show_bug.cgi?id=706031

libotutil: Make use of GBytes in ot_variant_read()

This is just cleaner; we avoid using GObject data, etc.

https://bugzilla.gnome.org/show_bug.cgi?id=706031

core: Add API to convert checksum -> csum in place

We already have the opposite, and this will be used in some
places to avoid a malloc.

https://bugzilla.gnome.org/show_bug.cgi?id=706031

libotutil: Add API to create an "ay" GVariant from GBytes

We used to have a version of this, but since I'm trying to use
GBytes more, this became a more common operation, and it's annoying
to type out the whole G_VARIANT_TYPE ("ay") each time, and pass
TRUE for trusted.

https://bugzilla.gnome.org/show_bug.cgi?id=706031

trivial-httpd: Add --force-range-requests option to force range requests

This will be used to test resuming interrupted downloads for
ostree-pull.

With this option, if a whole file is asked for, only half of the file
is given.  Then the client should retry with a range request, and
we'll give them the other half.

https://bugzilla.gnome.org/show_bug.cgi?id=705925

test-xattrs: Skip if current FS doesn't support user_xattr

tmpfs doesn't =(

core: Add a comment header about the format

This should probably be a design document or something, but this is
useful for now.

Don't pass non-checksums to ostree_repo_has_object()

The 'ostree show' command passed non-checksum arguments
to the ostree_repo_has_object() function which led to
an assertion.

https://bugzilla.gnome.org/show_bug.cgi?id=705967

tests: Add xattr test case

Since it was broken up until now for multiple attributes =(

Fix crasher when running 'ostree cat'

Cause was a buffer read overrun.

https://bugzilla.gnome.org/show_bug.cgi?id=705964

Add some verbose log output when xattr functions fail

If any of the system xattr functions fail, clearly write out the
reason in the verbose log output.

https://bugzilla.gnome.org/show_bug.cgi?id=705893

Don't use XATTR_REPLACE with lsetxattr()

If we pass XATTR_REPLACE then the attribute must already exist, which
is not our intent. Passing zero creates the attribute if necessary,
or replaces it when it already exists.

https://bugzilla.gnome.org/show_bug.cgi?id=705893

Properly separate sorted xattr names

We expect to be handling a string delimited by \0 characters, as
returned by llistxattr(). So stick to that behavior here.

https://bugzilla.gnome.org/show_bug.cgi?id=705893

Add some verbose logging to 'ostree commit'

This is so we can see near which file we fail when 'ostree commit'
falls over.

https://bugzilla.gnome.org/show_bug.cgi?id=705905

Add --verbose and -v arguments to ostree for details

Use the GLib debug mechanism to handle verbose output.

https://bugzilla.gnome.org/show_bug.cgi?id=705905

Better parsing for global ostree options

 * Specifying global options after the command for a more natural:
   # ostree commit --repo=/path/to/repo ...
 * Support asking for --help without --repo
   # ostree commit --help
 * Support short form of -h
 * Support specifying --repo without equals sign
   # ostree --repo /path/to/repo commit ...
 * Support global --help and -h
   # ostree --help
 * Ditto for ostree admin sub commands
 * Removed some leaky code

https://bugzilla.gnome.org/show_bug.cgi?id=705903

Ignore some built files

https://bugzilla.gnome.org/show_bug.cgi?id=705900

Update libgsystem

With fd leak fix.

core: Clean up temporary file creation

Use new libgsystem API, don't expose the repo's tmpdir.

core: Finish making object path API private

This allows us to more easily change the internals later.

core: Reduce API surface for file access

This function was only used by internals, make it private.

TODO: Update

admin: Clean up builtin prototype

Pass through GCancellable, and just use GFile *sysroot, since that's
all OtAdminBuiltinOpts was.

main: Assume / for ls if no path given

Since it just is kind of a sane default.

core: Fix all introspection warnings

Still lots more docs to write and API to cleanup, but this is better.

Install a shared library

This required a fair bit of surgery because previously ostree.h
included otutil.h, but that's supposed to be a private library.

core: Work around libguestfs/FUSE issue with setuid binaries

For some reason, the setuid bits are being stripped.  This
workaround is enough for now.

Add API to retrieve statistics from transactions, use it in commit

It's just interesting to see =) This is also kind of prototyping out
some more "structured" output.

lib: Use -export-symbol-regex

Just a small step towards being a better library.

fsck: Fix crash on repositories with < 10 objects

pull: Tweak status line again, do what git does

Almost, we don't have bytes transferred.  And we lie about percentages
since as metadata comes in the total number of objects to fetch goes
up.

main: Fix previous commit to find repo in cwd over /ostree/repo

The tests when run inside gnome-ostree broke, and this is better
behavior.

main: Support using repo from current directory

$ cd repo
$ ostree ls foo /
...

Can be a lot more convenient than typing --repo=repo a lot.

TODO: More bits about commit objects

Drop support for related objects and metadata in commit objects

While the actual commit object format is presently the same, for a
number of reasons we'd like to change it fairly radically.  Among
other things, we need to drop our a{sv} types in objects, to protect
against GVariant changing format.

Since now gnome-ostree now longer uses related objects, and nothing
ever used metadata, just drop them both.

main: Fix an uninitialized variable

pull: Always scan for commit object, even if ref is unchanged

If the admin encounters corruption and does:

$ ostree admin fsck --delete

We want them to be able to recover the objects easily from the
network; with this patch, they do:

$ ln -s dummyvalue /ostree/repo/transaction
$ ostree refs --delete remotename:branchname
$ ostree pull remotename

This patch avoids the need for the refs --delete; we might as well
force scan the commit, and with this patch we still print that it
changed.

main: ls: Behave like standard Unix "ls" with directories

Default to listing directory contents, add -d/--dironly to suppress
this.

main: Squash a compiler warning

main: Consistently use "opt_" as a prefix for option local variables

This makes it easier to find where we're using global state, which is
useful when refactoring code into libostree.

main: commit: Drop broken --parent option

No idea why we had this, it didn't do anything in the current code.
Noticed while doing other refactoring.

main: Drop log builtin

We may revive this later, but commits in their current form aren't
very useful for humans to read, so it doesn't make sense to have a
tool to show a history of useless stuff.

More interesting things are diffs between commits, object statistics,
etc.

main: pull: Reduce the status line length a bit

Drop "objects" where it's obvious [ to me anyways =) ], and drop the
bytes transferred since our math was off, and the HTTP status kind of
shows that.

TODO: Add an item about commit objets

admin: Add an "undeploy" command

Otherwise it's really easy to keep accumulating deployments.  Also, we
may want to run this after rebooting, so we're back down to one
operating system.

core: Don't strip setuid bits when creating files

This ugly regression occurred because I overlooked the fact that our
chown() invocation would strip off setuid.

main: show: Don't strip mode, let's see the whole thing

Just useful for debugging.

main: Add --delete option to fsck

This is useful for clearing out all corrupted objects locally.

main: Clean up fsck code: honor --quiet, warn (but continue) on missing objects

When we make fsck --delete work again, it will be convenient to
continue on missing objects.

Update libgsystem

main: Make "ostree show" actually useful for files

We already have "ostree cat" for files, here we want to see a dump of
the metadata.

TODO: Add more

tests: Add a test for link checkout speedup

diff: Add --stats option

This a neat way to see how many objects are shared between two
commits.

main: Add --link-checkout-speedup option to commit

And disable devino scan by default.  For the gnome-ostree build case,
our commits are from "make install DESTDIR=", so they won't be
hardlinks into the repo.  In that case, particularly as the repository
size grows, the cost of building up the devino -> checksum mapping
becomes a problem.

The compose step will use this option though.

doc: Fix a typo

https://bugzilla.gnome.org/show_bug.cgi?id=704365

Release 2013.4

doc: A long overdue manpage update

Ok, just a little one, but still.  I actually updated documentation!

main: Move GCancellable to toplevel

This is just cleaner, and makes the builtins slightly more of a
library, which in turn makes it easier to turn them into real API.

prune: Don't fail if a to-be-pruned object doesn't exist

Previously, if a prune was interrupted, further attempts would fail.
It's just better to silently continue here.

Drop support for fifos and devices

While the first was useful way back in the day when we were importing
Debian bits and /sbin/init was expecting to find /dev/.initctl as a
named pipe, that's no longer an issue with systemd since it uses
dynamic Unix sockets.

Likewise, character and block devices in /dev are now dynamically
created by the devtmpfs from the kernel.

Less complexity and code here if we just support directories, regular
files, and symbolic links.

core: Drop a leftover unnecessary #define _GNU_SOURCE

We now use AC_USE_SYSTEM_EXTENSIONS.

core: Use gsystem API for generating temporary names

Drops duplicated code.